AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
AURORA-LM：连续潜在扩散语言模型的自动编码统一表示
🧭 连续潜在扩散语言模型 ★ 深度解读
PRLab, Nanjing University · S-Lab, Nanyang Technological University · Imperial College London
解耦表示与生成，用高容量可解码连续潜在空间实现高质量文本扩散
📌 工作参考价值（4 点）
- 解耦表示与生成：在电商推荐/搜索中可训练一个连续潜在编码器（如物品描述、查询意图），冻结后单独优化扩散生成模型，降低耦合，灵活调优。
- 高容量潜在保留信息：使用高维连续潜在向量表示商品或查询，利用低秩噪声输入瓶颈（如 \(D_b=128\)）减少扩散模型计算，同时保留全宽解码质量，适合平衡效果与效率。
- 噪声分配校准：根据潜在维度调整训练时的噪声水平分布，对高维潜在侧重高噪声样本，改善生成多样性，可用于推荐文本生成或搜索词推荐中控制多样性-质量权衡。
- 自轨迹一致性：在扩散推理时通过相邻步预测一致性正则化，显著提升少步（如 16 步）生成质量，降低线上推理延迟，利于实时生成场景。